Video analysis for cartoon-style special effects

In recent years the Vision community has shown interest in processing images and video for use by the entertainment industries. Typical applications include 3D reconstruction of models, and rendering graphics models into video. This paper broadly aligns with that trend, but differs in that we process video to emphasise motion in Cartoon-like styles, in which moving objects deform in defiance of physical laws, and leave trailing marks of one kind or another in their wake. We provide an introduction to the effects real animators use, and show how a judicious choice of standard processing techniques, supplemented by novel methods, can be used to achieve convincing results. We illustrate the robustness of our method using several video sequences, ranging in content from simple oscillatory to articulated motion, under both static and moving camera conditions.

近年、ビジョン・コミュニティは、エンターテインメント産業で使用される画像やビデオの処理に関心を示している。典型的なアプリケーションには、モデルの3D再構成や、グラフィックスモデルのビデオへのレンダリングなどがある。本論文は、このようなトレンドにほぼ沿ったものであるが、動く物体が物理法則に反して変形し、その跡に何らかの痕跡を残すような、カートゥーンのようなスタイルの動きを強調するためにビデオを処理するという点で異なる。実際のアニメーターが使用するエフェクトを紹介し、標準的な処理テクニックを慎重に選択し、新しい手法で補うことで、説得力のある結果が得られることを示す。単純な振動から多関節の動きまで、静止画と動画両方の条件下で、いくつかのビデオシーケンスを用いて、本手法の頑健性を説明する。

何

ビデオ内の動きをartisticにレンダリングするシステム

手描きアニメのようなモーションキューの自動生成

カメラの移動・照明の変化・occlusion（隠面）に対応

先行研究と比べて？

cartoon-like styleにする映像処理分野でも大半は視覚的スタイルであり、動きに着目するものは斬新

技術の鍵

軌跡分析

衝突検出とcorrespondence trailsの形成

重心の速度が不連続なところをcollisionとする

（カルマンフィルターで構築された）2次運動方程式で満足に位置を予測できない軌道上の点

https://gyazo.com/96f1f31ea2916b1403a6bc174fdc3c64

レンダリング

https://gyazo.com/530aac95cf05b8d40655caf69cb25ae9

瞬間的な動きに対して接線方向に変形させるだけでなく、重心の軌跡の弧に沿って曲げる

衝突時に圧縮

隠面処理

https://gyazo.com/d36f5fa4686e7dd3fbc9ccc33d14cdc3

(b)素直な変形は残像を生じるが、我々の方法では残像は生じない(d)。オクルージョンバッファが時間経過とともに構築され、特徴の後に拡張の手がかりを扱えるようにする。ネットの不規則な動きによってオクルージョンバッファが空になり、そのネットの前に誤ってキューが描画されると、システムは破綻する(e)。

検証方法

特になにもやってない

議論・課題

トラッカーやオクルージョン（隠面）処理の改善

高度なビデオの時空間解析を検討するとよさそう

---

イントロ

アニメーターによる、動きの特徴を強調する手法

動きを強調するstreak line（縞模様の線）物体の先端をなぞる

ghost line ☝streak lineと対称に物体の後端をなぞる

squash and stretch

それを動かすのに苦労していることを示す

速度などの運動パラメータと、モデル化された剛性による関数で変形度合いが決まる

Lasseter (1987) が紹介しているがアルゴリズム的解決は示していない

動きの描写が重要であることを特定する論文

T. Strothotte, B. Preim, A. Raab, J. Schumann, and D. R. Forsey, “How to render frames and influence people,” in Proceedings Computer Graphics Forum (Eurographics), 1994, vol. 13, pp. C455–C466.

S. C. Hsu and I. H. H. Lee, “Drawing and animation using skeletal strokes,” in Proceedings Computer Graphics (ACM SIGGRAPH), 1994, pp. 109–118.

https://gyazo.com/909274f69ca357e82b4aa8699236cf37